0からCFn templateを作る

大きく以下5step

いかにはやく「Stack作ってみた」まで持っていくか

やっぱ目に見えると楽しい。

https://gyazo.com/203a5923e0b8245373e1fe0cfe96a565

いかに「プラモデル」っぽくやるか

Cloudformationって、「Resource（AWS Service）」をいかに組み合わせるか。

Resourceを一つ一つ別fileで持っておく

コメントアウト/コメントイン使って「ResourceのON/OFF」を行う

作るResourceの種類を見極めちゃう

特に「IAM Roleに付与すべき権限」はここで見えてくる

ここで「作るResource」を確定する

code:dir

.

├── Makefile

├── README.md

├── buildspec.yml

├── cloudformation

│   ├── {実際に作成するResource Pattern1}.yml

│   ├── {実際に作成するResource Pattern2}.yml

│   ├── {実際に作成するResource Pattern3}.yml

│   ├── env

│   │   ├── {Group A}.yml

│   │   ├── {Group B}.yml

│   │   └── {Group C}.yml

│   └── resources

│   ├── {生成するResource X}.yml

│   ├── {生成するResource Y}.yml

│   └── {生成するResource Z}.yml

└── serverless.yml

code:buildspec.yml

version: 0.2

phases:

install:

runtime-versions:

nodejs: 12

commands:

- npm install -g serverless

- npm install

build:

commands:

- sls deploy --stage $STAGE --role ds-proper # "--role" 部分で、Group A,B,Cの指定

code:serverless.yml

service: datalake-user-${opt:role}

provider:

name: aws

stage: ${opt:stage, self:custom.defaultStage}

region: ${opt:region, self:custom.defaultRegion}

custom:

defaultStage: dev

defaultRegion: ap-northeast-1

accountId:

dev: 123456789012

stg: 234567890123

prod: 345678901234

branchName:

dev: source

stg: develop

prod: master

KMSMasterKeyID:

dev: *******************

env: ${file(./cloudformation/env/${opt:role}.yml)}

resources:

# dev/stg/prodの違いはもちろん、 GroupA/B/Cによっても「作るResource」が変わる

# ResourceはPattern分けして管理する

- ${file(./cloudformation/${self:custom.env.resourcesTemplate.${self:provider.stage}})}

code:ds-proper.yml

resourcesTemplate:

dev: default.yml

stg: default.yml

prod: default.yml

まずは、以下のように「全部コメントアウトした状態」で作る

code:{実際に作成するResource Pattern1}.yml

Resources:

# ExtendDataBucket: ${file(./cloudformation/resources/ExtendDataBucket.yml)}

# AthenaWorkGroup: ${file(./cloudformation/resources/AthenaWorkGroup.yml)}

# AnalyticsRole: ${file(./cloudformation/resources/AnalyticsRole.yml)}

# AnalyticsSageMakerInstanceLifecycle: ${file(./cloudformation/resources/AnalyticsSageMakerInstanceLifecycle.yml)}

# AnalyticsSageMakerInstance: ${file(./cloudformation/resources/AnalyticsSageMakerInstance.yml)}

上から順にコメントアウトを解除。

code:{実際に作成するResource Pattern1}.yml

Resources:

ExtendDataBucket: ${file(./cloudformation/resources/ExtendDataBucket.yml)}

# AthenaWorkGroup: ${file(./cloudformation/resources/AthenaWorkGroup.yml)}

# AnalyticsRole: ${file(./cloudformation/resources/AnalyticsRole.yml)}

# AnalyticsSageMakerInstanceLifecycle: ${file(./cloudformation/resources/AnalyticsSageMakerInstanceLifecycle.yml)}

# AnalyticsSageMakerInstance: ${file(./cloudformation/resources/AnalyticsSageMakerInstance.yml)}

解除したものに対して、Resource fileを作る

最初はAWSのサイトから適当にパクってくる。

パクった中で「必須入力」はちゃんとかく。他は適当

code:ExtendDataBucket.yml

Type: AWS::S3::Bucket

Properties:

BucketName: datalake-extdata-${opt:role}-${self:custom.accountId.${self:provider.stage}}

通るはず。

通ったら、一つずつ keyを追加していく。

結果、以下のようになる

code:ExtendDataBucket.yml

Type: AWS::S3::Bucket

Properties:

BucketName: datalake-extdata-${opt:role}-${self:custom.accountId.${self:provider.stage}}

BucketEncryption:

ServerSideEncryptionConfiguration:

- ServerSideEncryptionByDefault:

SSEAlgorithm: aws:kms

KMSMasterKeyID: ${self:custom.KMSMasterKeyID.${self:provider.stage}}

途中、「ええ…書きかたわかんねえよ」となったら

適宜「ああ…ここの値は外に出している方が管理しやすくていいな」と思ったら、以下のようにしていく

code:ds-proper.yml

resourcesTemplate:

dev: default.yml

stg: default.yml

prod: default.yml

AthenaWorkGroup:

QuerySize: 10000000

IAMRole:

AssumeRole:

- arn:aws:iam::123456789012:user/sawachin

SageMaker:

InstanceType: ml.t2.medium

DirectInternetAccess: Enabled

RootAccess: Enabled

VolumeSizeInGB: 5

一つResource完成した。次に行く。

Slackの通知をそわそわしながら待つ。

通った！終了！